新旧|浆糊_强化学习从PG到PPO（基于百度飞桨PaddlePaddle+PARL）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了强化学习从PG到PPO（基于百度飞桨PaddlePaddle+PARL）相关的知识，希望对你有一定的参考价值。

前段时间抽空学习了《百度强化学习基础课程》强化学习7日打卡营-世界冠军带你从零实践&＃xff0c;总共七天的视频&＃43;线上作业&＃xff08;视频地址&＃xff1a;世界冠军带你从零实践强化学习&＃xff09;&＃xff0c;让我这个小白基本对于强化学习有了简单的理解&＃xff0c;知识虽然是灌进脑袋里&＃xff0c;但仍是一团浆糊&＃xff0c;好记性不如烂笔头&＃xff0c;后续会多写笔记整理下自己的对于课程所学的理解、思考和发散&＃xff0c;今天先从最简单的PG算法开始&＃xff0c;然后到最近刚有了解的PPO算法。

PG算法原理

PG算法即是基于策略&＃xff08;Policy-based&＃xff09;&＃xff0c;不同于Value-based的算法的Q函数&＃xff0c;其是直接优化策略函函数&＃xff0c;在深度强化学习中&＃xff0c;其一般是采用神经网络拟合策略函数π(s,a)&＃xff0c;而优化的目标是策略函数的期望回报&＃xff0c;即所有策略路径同策略路径发生概率p的加权和&＃xff0c;当迭代次数足够的情况&＃xff0c;可以用所有迭代的策略路径回报的平均值来表示。

在paddle中使用PG是非常简单的&＃xff0c;通过如下调用PG算法

from parl.algorithms import PolicyGradient

然后可以用paddle创建一个简单的模型。

class Model(parl.Model):
def __init__(self, act_dim):
act_dim &＃61; act_dim
hid1_size &＃61; act_dim * 10
self.fc1 &＃61; layers.fc(size&＃61;hid1_size, act&＃61;&＃39;tanh&＃39;)
self.fc2 &＃61; layers.fc(size&＃61;act_dim, act&＃61;&＃39;softmax&＃39;)
def forward(self, obs): # 可直接用 model &＃61; Model(5); model(obs)调用
out &＃61; self.fc1(obs)
out &＃61; self.fc2(out)
return out

之后定义Agent&＃xff0c;然后按如下就能完成PG框架的配置~

# 根据parl框架构建agent
model &＃61; Model(act_dim&＃61;act_dim)
alg &＃61; PolicyGradient(model, lr&＃61;LEARNING_RATE)
agent &＃61; Agent(alg, obs_dim&＃61;obs_dim, act_dim&＃61;act_dim)

回到PPO的实现

PPO论文地址&＃xff1a;https://arxiv.org/abs/1707.06347

对于PG算法来说&＃xff0c;最大的问题是在策略参数更新后&＃xff0c;还要需要重新使用同环境互动收集数据再进行下一轮迭代&＃xff0c;PPO算法是利用了重要性采样的思想&＃xff0c;在不知道策略路径的概率p情况下&＃xff0c;通过模拟一个近似的q分布&＃xff0c;只要p同q分布不差得太远&＃xff0c;通过多轮迭代可以快速参数收敛。

如何去实现这个重要性采样呢&＃xff1f;PPO结合AC框架&＃xff0c; agent由两部分组成&＃xff0c;Actor负责与环境互动收集样本&＃xff0c;等同于原来PG的情况&＃xff0c;其更新即PPO梯度的更新&＃xff0c;添加了Critic&＃xff0c;负责评判actor的动作好坏&＃xff0c;实际上就是重要性采样了。

class Model(parl.Model):
def __init__(self, act_dim):
self.actor_model &＃61; ActorModel(act_dim)
self.critic_model &＃61; CriticModel()
def policy(self, obs):
return self.actor_model.policy(obs)
def value(self, obs, act):
return self.critic_model.value(obs, act)
def get_actor_params(self):
return self.actor_model.parameters()
class ActorModel(parl.Model):
def __init__(self, act_dim):
hid_size &＃61; 100
self.fc1 &＃61; layers.fc(size&＃61;hid_size, act&＃61;&＃39;relu&＃39;)
self.fc2 &＃61; layers.fc(size&＃61;act_dim, act&＃61;&＃39;tanh&＃39;)
def policy(self, obs):
hid &＃61; self.fc1(obs)
means &＃61; self.fc2(hid)
return means
class CriticModel(parl.Model):
def __init__(self):
hid_size &＃61; 100
self.fc1 &＃61; layers.fc(size&＃61;hid_size, act&＃61;&＃39;relu&＃39;)
self.fc2 &＃61; layers.fc(size&＃61;1, act&＃61;None)
def value(self, obs, act):
concat &＃61; layers.concat([obs, act], axis&＃61;1)
hid &＃61; self.fc1(concat)
Q &＃61; self.fc2(hid)
Q &＃61; layers.squeeze(Q, axes&＃61;[1])
return Q

完成了模型的设置&＃xff0c;在算法上重点在于如下两个模型的学习更新参数&＃xff08;在parl可以直接调用&＃xff09;

Actor模型优化的LOSS&＃xff0c;其中KL是参数是描述新旧π(s,a)的相似程度的散度

Critic模型优化的LOSS

具体代码如下&＃xff1a;

def Actor_learn(self, obs, actions, reward, beta&＃61;None):
"""
"""
# 之前策略函数q
old_means, old_logvars &＃61; self.old_policy_model.policy(obs)
old_means.stop_gradient &＃61; True
old_logvars.stop_gradient &＃61; True
# 给定均值及方差&＃xff0c;计算actions的log概率函数
old_logprob &＃61; self._calc_logprob(actions, old_means, old_logvars)
# 现在的策略函数p
means, logvars &＃61; self.model.policy(obs)
logprob &＃61; self._calc_logprob(actions, means, logvars)
# 新旧策略函数p及q的KL散度
kl &＃61; self._calc_kl(means, logvars, old_means, old_logvars)
kl &＃61; layers.reduce_mean(kl)
# 以下对应于PPO参数更新LOSS
loss1 &＃61; - layers.reduce_mean(reward * layers.exp(logprob - old_logprob))
loss2 &＃61; kl * beta
loss &＃61; loss1 &＃43; loss2

optimizer &＃61; fluid.optimizer.AdamOptimizer(self.policy_lr)
optimizer.minimize(loss)
return loss, kl
def Critic_learn(self, obs, val):
"""
"""
predict_val &＃61; self.model.value(obs)
# LOSS
loss &＃61; layers.square_error_cost(predict_val, val)
loss &＃61; layers.reduce_mean(loss)
optimizer &＃61; fluid.optimizer.AdamOptimizer(self.value_lr)
optimizer.minimize(loss)
return loss

在运行时可以先用一个简单的环境跑下程序&＃xff0c;看看能否跑通&＃xff0c;训练时参数能否收敛~

from gridworld import FrozenLakeWapper
env &＃61; gym.make("FrozenLake-v0", is_slippery&＃61;False) # 0 left, 1 down, 2 right, 3 up
#env &＃61; gym.make("CliffWalking-v0") # 0 up, 1 right, 2 down, 3 left
env &＃61; FrozenLakeWapper(env)

这里非常推荐大家使用parl例子的里gridword.py文件https://github.com/PaddlePaddle/PARL/blob/develop/examples/tutorials/lesson1/gridworld.py&＃xff0c;可以直接渲染出运行环境

最后再吹一拨parl&＃xff0c;其里面已经集群了算法和例子&＃xff0c;调用起来非常方便~&＃xff0c;另外还可以上百度飞桨平台https://aistudio.baidu.com/&＃xff0c;里面有许多深度学习的课程。